As an important variant of entity alignment (EA), multi-modal entity alignment (MMEA) aims to discover identical entities across different knowledge graphs (KGs) with multiple modalities like images. However, current MMEA algorithms all adopt KG-level modality fusion strategies but ignore modality differences among individual entities, hurting the robustness to potential noise involved in modalities (e.g., unidentifiable images and relations). In this paper we present MEAformer, a multi-modal entity alignment transformer approach for meta modality hybrid, to dynamically predict the mutual correlation coefficients among modalities for instance-level feature fusion. A modal-aware hard entity replay strategy is also proposed for addressing vague entity details. Extensive experimental results show that our model not only achieves SOTA performance on multiple training scenarios including supervised, unsupervised, iterative, and low resource, but also has limited parameters, optimistic speed, and good interpretability. Our code will be available soon.

Abstractive summarization is the process of generating a summary given a document as input. Although significant progress has been made, the factual inconsistency between the document and the generated summary still limits its practical applications. Previous work found that the probabilities assigned by the generation model reflect its preferences for the generated summary, including the preference for factual consistency, and the preference for the language or knowledge prior as well. To separate the preference for factual consistency, we propose an unsupervised framework named CoP by controlling the preference of the generation model with the help of prompt. More specifically, the framework performs an extra inference step in which a text prompt is introduced as an additional input. In this way, another preference is described by the generation probability of this extra inference process. The difference between the above two preferences, i.e. the difference between the probabilities, could be used as measurements for detecting factual inconsistencies. Interestingly, we found that with the properly designed prompt, our framework could evaluate specific preferences and serve as measurements for fine-grained categories of inconsistency, such as entity-related inconsistency, coreference-related inconsistency, etc. Moreover, our framework could also be extended to the supervised setting to learn better prompt from the labeled data as well. Experiments show that our framework achieves new SOTA results on three factual inconsistency detection tasks.

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

在交互环境中学习操纵3D对象一直是强化学习（RL）的挑战性问题。特别是，很难训练可以概括具有不同语义类别，多样形状几何形状和多功能功能的对象的策略。最近，视觉负担能力的技术在提供有效的可操作语义方面提供了以对象为中心的信息先验的前景。因此，可以通过知道如何在手柄上施加力来训练有效的政策来打开门。但是，要学习负担能力，它通常需要人为定义的动作基础，这限制了适用的任务范围。在这项研究中，我们通过使用RL训练过程中生成的联系信息来预测感兴趣的接触图，利用视觉负担。然后，这种联系预测过程会导致一个端到端的负担能力学习框架，该框架可以概括不同类型的操纵任务。令人惊讶的是，这种框架的有效性即使在多阶段和多代理场景下也具有。我们对八种类型的操纵任务进行了测试。结果表明，我们的方法优于基线算法，包括基于视觉的负担方法和RL方法，其成功率很大。演示可以在https://sites.google.com/view/rlafford/上找到。

在鸟眼中学习强大的表现（BEV），以进行感知任务，这是趋势和吸引行业和学术界的广泛关注。大多数自动驾驶算法的常规方法在正面或透视视图中执行检测，细分，跟踪等。随着传感器配置变得越来越复杂，从不同的传感器中集成了多源信息，并在统一视图中代表功能至关重要。 BEV感知继承了几个优势，因为代表BEV中的周围场景是直观和融合友好的。对于BEV中的代表对象，对于随后的模块，如计划和/或控制是最可取的。 BEV感知的核心问题在于（a）如何通过从透视视图到BEV来通过视图转换来重建丢失的3D信息； （b）如何在BEV网格中获取地面真理注释； （c）如何制定管道以合并来自不同来源和视图的特征； （d）如何适应和概括算法作为传感器配置在不同情况下各不相同。在这项调查中，我们回顾了有关BEV感知的最新工作，并对不同解决方案进行了深入的分析。此外，还描述了该行业的BEV方法的几种系统设计。此外，我们推出了一套完整的实用指南，以提高BEV感知任务的性能，包括相机，激光雷达和融合输入。最后，我们指出了该领域的未来研究指示。我们希望该报告能阐明社区，并鼓励对BEV感知的更多研究。我们保留一个活跃的存储库来收集最新的工作，并在https://github.com/openperceptionx/bevperception-survey-recipe上提供一包技巧的工具箱。

准确，快速的双核细胞（BC）检测在预测白血病和其他恶性肿瘤的风险中起着重要作用。但是，手动显微镜计数是耗时的，缺乏客观性。此外，由于bc显微镜整体幻灯片图像（WSIS）的染色质量和多样性的限制，传统的图像处理方法是无助的。为了克服这一挑战，我们提出了一种基于深度学习的结构启发的两阶段检测方法，该方法是基于深度学习的，该方法是在斑块级别的WSI-Level和细粒度分类处实施BCS粗略检测的级联。粗糙检测网络是基于用于细胞检测的圆形边界框的多任务检测框架，以及用于核检测的中心关键点。圆的表示降低了自由度，与通常的矩形盒子相比，减轻周围杂质的影响，并且在WSI中可能是旋转不变的。检测细胞核中的关键点可以帮助网络感知，并在后来的细粒分类中用于无监督的颜色层分割。精细的分类网络由基于颜色层掩模的监督和基于变压器的关键区域选择模块组成的背景区域抑制模块，其全局建模能力。此外，首先提出了无监督和未配对的细胞质发生器网络来扩展长尾分配数据集。最后，在BC多中心数据集上进行实验。拟议的BC罚款检测方法在几乎所有评估标准中都优于其他基准，从而为诸如癌症筛查等任务提供了澄清和支持。

语义细分是一种关键技术，涉及高分辨率遥感（HRS）图像的自动解释，并引起了遥感社区的广泛关注。由于其层次表示能力，深度卷积神经网络（DCNN）已成功应用于HRS图像语义分割任务。但是，对大量培训数据的严重依赖性以及对数据分布变化的敏感性严重限制了DCNNS在HRS图像的语义分割中的潜在应用。这项研究提出了一种新型的无监督域适应性语义分割网络（MemoryAdaptnet），用于HRS图像的语义分割。 MemoryAdaptnet构建了一种输出空间对抗学习方案，以弥合源域和目标域之间的域分布差异，并缩小域移位的影响。具体而言，我们嵌入了一个不变的特征内存模块来存储不变的域级上下文信息，因为从对抗学习获得的功能仅代表当前有限输入的变体特征。该模块由类别注意力驱动的不变域级上下文集合模块集成到当前伪不变功能，以进一步增强像素表示。基于熵的伪标签滤波策略用于更新当前目标图像的高额伪不变功能的内存模块。在三个跨域任务下进行的广泛实验表明，我们提出的记忆ADAPTNET非常优于最新方法。

变压器被认为是自2018年以来最重要的深度学习模型之一，部分原因是它建立了最先进的记录（SOTA）记录，并有可能取代现有的深神经网络（DNNS）。尽管取得了显着的胜利，但变压器模型的延长周转时间是公认的障碍。序列长度的多样性施加了其他计算开销，其中需要将输入零填充到批处理中的最大句子长度，以容纳并行计算平台。本文针对现场可编程的门阵列（FPGA），并提出了一个连贯的序列长度自适应算法 - 硬件与变压器加速度的共同设计。特别是，我们开发了一个适合硬件的稀疏注意操作员和长度意识的硬件资源调度算法。提出的稀疏注意操作员将基于注意力的模型的复杂性降低到线性复杂性，并减轻片外记忆流量。提出的长度感知资源硬件调度算法动态分配了硬件资源以填充管道插槽并消除了NLP任务的气泡。实验表明，与CPU和GPU实施相比，我们的设计准确度损失很小，并且具有80.2 $ \ times $和2.6 $ \ times $速度，并且比先进的GPU加速器高4 $ \ times $ $ $ \ times $通过Cublas Gemm优化。

伪装的对象检测（COD）旨在识别自然场景中隐藏自己的物体。准确的COD遭受了许多与低边界对比度有关的挑战，并且对象出现（例如对象大小和形状）的较大变化。为了应对这些挑战，我们提出了一种新颖的背景感知跨层次融合网络（C2F-net），该网络融合了上下文感知的跨级特征，以准确识别伪装的对象。具体而言，我们通过注意力诱导的跨融合模块（ACFM）来计算来自多级特征的内容丰富的注意系数，该模块（ACFM）进一步在注意系数的指导下进一步集成了特征。然后，我们提出了一个双分支全局上下文模块（DGCM），以通过利用丰富的全球上下文信息来完善内容丰富的功能表示的融合功能。多个ACFM和DGCM以级联的方式集成，以产生高级特征的粗略预测。粗糙的预测充当了注意力图，以完善低级特征，然后再将其传递到我们的伪装推断模块（CIM）以生成最终预测。我们对三个广泛使用的基准数据集进行了广泛的实验，并将C2F-NET与最新模型（SOTA）模型进行比较。结果表明，C2F-NET是一种有效的COD模型，并且表现出明显的SOTA模型。此外，对息肉细分数据集的评估证明了我们在COD下游应用程序中C2F-NET的有希望的潜力。我们的代码可在以下网址公开获取：https：//github.com/ben57882/c2fnet-tscvt。

视觉问题回答（VQA）通常需要对视觉概念和语言语义的理解，这取决于外部知识。大多数现有方法利用了预训练的语言模型或/和非结构化文本，但是这些资源中的知识通常不完整且嘈杂。有些方法更喜欢使用经常具有强化结构知识的知识图（kgs），但是研究仍然相当初步。在本文中，我们提出了Lako，这是一种知识驱动的VQA方法，通过后期的文本注射。为了有效地纳入外部kg，我们将三元三元转移到文本中，并提出一种晚期注射机制。最后，我们将VQA作为文本生成任务，并具有有效的编码器范式。在使用OKVQA数据集的评估中，我们的方法可实现最新的结果。